Robert Downey sinh tại Manhattan, thành phố New York. Ông là người con thứ hai của Robert Downey, Sr - một diễn viên, đạo diễn, nhà sản xuất - và Elsie Downey - cũng là một diễn viên. Gia đình ông có nguồn gốc Do Thái và Công giáo.[2][3][4] Ban đầu, cha của ông được đặt tên là Robert Elias nhưng sau đó lại tự đổi thành Robert Downey, lấy theo tên của cha dượng là James Downey vì ông muốn được tuyển vào quân đội.[3][5]

Ngay từ khi còn bé, Downey đã dính líu tới thuốc phiện. Cha ông, vốn là một kẻ nghiện thuốc, đã cho phép con mình sử dụng cần sa từ khi mới 6 tuổi. Downey nói rằng:"Khi hai cha con tôi sử dụng thuốc cùng nhau, đó như thể là việc ông ấy cố gắng muốn bày tỏ tình yêu dành cho tôi, theo cách mà chỉ ông ấy hiểu" ("When my dad and I would do drugs together, it was like him trying to express his love for me in the only way he knew how.").[6] Về sau, ông tiếp tục dành nhiều đêm lạm dụng rượu và thuốc.[6]

Ông đóng nhiều phim của cha mình từ hồi còn nhỏ trong vai những cậu bé. Vai diễn đầu tiên của ông là một cậu bé ốm yếu trong phim Pound (1970) lúc ông 5 tuổi. 7 tuổi, ông đóng phim Greaser's Palace.[3] 10 tuổi, ông tới sống ở Luân Đôn, theo học chương trình dạy múa Ballet cổ điển. Sau đó, ông quay trở về New York, tham gia trại hè Stagedoor Manor Performing Arts Training Center.[7] Khi cha mẹ li dị năm 1978, ông chuyển đến sống cùng cha ở California. Nhưng vào năm 1982 ông thi trượt vào trường Santa Monica High School nên đã quay trở lại New York, dành toàn tâm theo đuổi nghiệp diễn.[8]

Downey và Kiefer Sutherland là bạn cùng phòng trong 3 năm khi Downey mới chuyển tới Hollywood, họ từng sóng vai trong phim 1969.[9]